Новости про NVIDIA и искусственный интеллект

Разработчики игр рассматривают ИИ для разных способов ускорения процессов разработки. Создание фоновых и неигровых персонажей находятся на первом месте. И новый инструмент NVIDIA ACE позволяет создателям игр быстро генерировать голоса NPC с полноценной лицевой анимацией.

Такая демонстрация была проведена в ходе GDC. Используя InWorld Character Engine и технологии LLM разработчики могут создавать базу знаний и стиль разговора для отдельного NPC. Затем инструмент NVIDIA Audio2Face использовался для быстрой генерации в реальном времени лицевой анимации на основе голосовой дорожки.

Старший вице-президент Ubisoft по производственной технологии Жилеметт Пикар отметил: «Генеративный ИИ обеспечит игровой опыт, который ещё предстоит представить, с более умными мирами, проработанными персонажами и быстрыми и адаптивными нарративами. Благодаря партнёрству с NVIDIA в нашем NEO NPC прототипе решение NVIDIA Audio2Face помогло нам создать более глубокое погружение посредством анимации в реальном времени с поистине импровизируемым разговором с NPC».

Демонстрация призвана показать ИИ-инструменты, которые подготавливаются для разработчиков. Некоторые уже используют ИИ для озвучки. И нет сомнений, что скоро ИИ будет использован для создания фоновых персонажей и NPC, выдающих квесты.

Фирма продолжает постепенно наращивать объёмы производства благодаря устранению проблем с поставками комплектующих, что ранее сдерживало многие правительственные агентства от внедрения ИИ на основе аппаратного обеспечения NVIDIA. Одним из таких факторов стало внедрение производителем микросхем TSMC новой технологии упаковки CoWoS.

Если вы думаете, что у нас уже много ИИ, то это не так. Сейчас компания использует все свои разработки, включая 3D + VR + RGB + ray tracing, одновременно. Глава компании Дженсен Хуан считает, что в плане взрывного развития ИИ мы переживаем первый год в ожидающемся 10-летнем цикле: «Ускоренные вычисления и генеративный ИИ столкнулись с резким ростом. Спрос растёт по всему миру у компаний, отраслей и наций». Также он отметил, что NVIDIA ожидает быстрый рост: «Мы находимся на первом году генеративного ИИ. Моё предположение — мы на самом деле находимся на первом году 10-летнего цикла развития этой технологии в абсолютно каждой отрасли и нации».

При этом индустрию ожидают и вызовы, связанные с развитием технологий производства и снижения энергопотребления: «если вы предположите, что компьютеры никогда не будут быстрее, то вы придёте к выводу, что нам потребуется 14 различных планет и три галактики и 4 больше Солнц для питания этого всего», — заявил Хуан.

Этот чат-бот работает локально, используя возможности ИИ видеокарт. Он предлагает пользователям возможность проанализировать документы, изображения и видео в поисках важной информации. При этом инструмент является автономным, что значительно повышает уровень безопасности.

Чат с RTX является бесплатным инструментом, который NVIDIA распространяет как технологическое демо. В результате все владельцы подходящих видеокарт могут дома экспериментировать с искусственным интеллектом.

Для работы с инструментом требуется видеокарта серии RTX 30 или RTX 40 с 8 ГБ памяти. Таким образом, под требование не подпадают карты серии RTX 20, а также новая RTX 3050 6GB. Работает бот в операционной системе Windows 11 с минимум 16 ГБ оперативной памяти. Скачать бота можно на сайте компании. Размер инсталлятора составляет 35 ГБ, и, по правде говоря, — это не очень большой объём для инструмента подобного рода.

Новая функция появилась в драйвере NVIDIA Geforce Game Ready, и в целом она похожа на свежую функцию RTX Video. Только вместо того, что преобразовывать видео SDR в HDR, технология преобразовывает кадры в игре.

По мере того, как всё большее количество мониторов выпускаются с поддержкой HDR, возможность использования такой функции даст весомое преимущество для NVIDIA, позволяя превратить старые игры в куда более зрелищное шоу.

К сожалению, пока о точных сроках выпуска технологии RTX TrueHDR от NVIDIA ничего не известно.

Модуль H200 стал первым графическим процессором, где применена HBM3e-память объёмом 141 ГБ с пропускной способностью 4,8 ТБ/с, то есть, вдвое больше и в 2,4 раза быстрее чем у предшественника NVIDIA A100. Будучи собранным в систему, NVIDIA HGX H200 может содержать до 1,1 ТБ HMB3e-памяти. Объединяются модули H200 посредством сверхбыстрой шины NVLink-C2C.

По словам NVIDIA, системы на основе H200 появятся у крупнейших производителей серверов во II квартале 2024 года.

В своём блоге компания сообщила, что Eureka автоматически пишет алгоритмы поощрения и впервые обучила роботизированную руку выполнять сложное движение, необходимое для вращения ручки пальцами, как это часто делают люди.

Кроме этого, Eureka учит роботов открывать шкафы и ящики, бросать и ловить мячи, набирать текст на клавиатуре и работать с ножницами. Всего порядка 30 задач.

Старший директор NVIDIA по исследованиям ИИ Анима Ананд кумар заявила, что приложенные за последнее десятилетие усилия в обучении привели к невероятным успехам. Впереди по-прежнему ещё множество вызовов, таких как конструкция поощрений, что достигается методом проб и ошибок.

Eureka является первым шагом в направлении разработки новых алгоритмов, которые объединяют в обучении генеративный метод и метод закрепления для решения сложных задач.

Процессор H100 — это самое производительное предложение, доступное в нескольких вариантах: H100 PCIe, H100 SXM и H100 NVL (со спаренным GPU). Сейчас H100 оснащён 80 ГБ оперативной памяти HBM2E, как в версии PCIe, так и SXM5. Лишь версия H100 NVL оснащается 188 ГБ HBM3, что означает спаренную карту с 94 ГБ памяти. Однако в скором времени, NVIDIA может выпустить одиночные версии акселератора с 94 ГБ и 64 ГБ памяти, о чём гласят свежие записи в PCI ID Repository.

В PCI ID Repository появились две записи: «Очень прошу добавить H100 SXM5 64 GB в 2337» и «Очень прошу добавить H100 SXM5 94 GB в 2339». Это означает, что NVIDIA может готовить новые версии H100.

В сентябре 2022 года появились сообщения, будто NVIDIA готовит вариацию H100 со 120 ГБ памяти, однако официального подтверждения этому так и не появилось. Вполне возможно, что соответствующие PCIe ID появились исключительно в лабораториях, куда соответствующее оборудование передавалось на тестирование. Будут ли новые версии доступны в продаже, покажет только время.

Технология генеративного ИИ была представлена на Computex в видеоролике под названием Kairos. В нём показан мрачный магазинчик уличной еды, где торгуют раменом. Ролик создан со всеми передовыми технологиями в области графики, и, честно говоря, визуальная составляющая куда более эффектна, чем ИИ.

Тем не менее, в демонстрационном ролике нам показывают, как NPC, торговец раменом, по имени Джин, общается с игроком:

Да, диалог вышел каким-то закостенелым. Наверное, ChatGPT справился бы лучше. Однако идея, заключающаяся в произвольном вопросе к NPC и ответе по теме, выглядит весьма интересной.

Демонстрация подготовлена NVIDIA в партнёрстве с Convai. Технология ACE может работать как в облаке, так и локально (конечно же, на видеокартах NVIDIA). Для построения, настройки и выпуска языковой модели использовалась NVIDIA NeMo, которую можно адаптировать для беседы с учётом сюжетной роли NPC, сохраняя меры безопасности для несоответствующего общения. Также эта технология внедряет распознавание речи и преобразование текста в речь при помощи инструмента Riva, а применение NVIDIA Omniverse Audio2Face обеспечивает «постоянное создание яркой лицевой анимации игрового персонажа, для соответствия слежения губами за любым текстом».

Технически, искусственный интеллект уже внедрён в текущие драйверы видеокарты, однако в будущем масштаб внедрения ИИ будет куда большим. Утверждается, что дальнейшие оптимизации ИИ могут быть использованы для фокусирования на «инструкциях, пропуске данных, использовании аппаратного обеспечения, многопоточности и настройках».

Не совсем понятно, как оптимизации ИИ будут работать на стороне пользователя, ведь пользователи уже используют профили оптимизации для разных игр, полученные из GeForce Experience и построенные на основе широкой базы данных различных конфигураций.

Нечто похожее есть и у AMD, которая недавно анонсировала технологию HYPR-RX, также включающую и Radeon Super Resolution и сниженные задержки.

В целом же сообщается, что оптимизации NVIDIA позволят до 30% поднять производительность, а в среднем — на 10%. Привязки к конкретной технологии нет, а потому не ясно, будут ли эти оптимизации работать только на видеокартах RTX, или же и на более старых ускорителях.

Посмотреть, как он работает можно в ролике на YouTube, а также можно опробовать его самостоятельно на NVIDIA AI Demos, на котором посетителям предлагаются все свежие разработки компании, использующие искусственный интеллект.

Модель глубокого обучения, стоящая за GauGAN, позволяет каждому воплотить свои мечтания в фотореалистичный шедевр, и теперь это проще, чем когда-либо. Просто напишите фразу, типа «закат на пляже», и ИИ сгенерирует сцену в реальном времени. Можно добавлять и прилагательные, например «закат на галечном пляже», или заменить «закат» на «полдень» или пасмурный день. И модель моментально модифицирует картинку.

Нажав на кнопку, пользователи могут сгенерировать сегментную карту, высокоуровневый план, отображающий размещение объектов на сцене. Оттуда можно изменить схему, подстроить сцену, добавив наброски меток, типа положения неба, деревьев, скал и рек. Таким образом, смарт-кисть работает совместно со словесным описанием при генерации сцены.